Vệ Tư hậu là người quận Bình Dương (平阳郡; nay là Lâm Phần, tỉnh Sơn Tây). Sử sách không ghi rõ tên thật, chỉ biết Vệ thị có biểu tự Tử Phu (子夫), nên người đời mặc định tên bà là Vệ Tử Phu (衛子夫). Tuy nhiên biểu tự vốn là một dạng hiệu, không phải tên thật[3][4].

Khác với nhiều Hoàng hậu thời Tây Hán, Vệ Tử Phu xuất thân hàn vi, gia môn vô cùng phức tạp. Mẹ của bà là Vệ Ẩu (衛媼), nguyên là từ "Ẩu" ý chỉ là "đàn bà", cũng là hiệu sau khi bà về già, có gia hiệu Vệ thị, do đó mới gọi như vậy[5][6]. Vệ Ẩu nguyên là gia đồng[7], có thuyết là thiếp thất[8] của Bình Dương hầu Tào Thọ (曹時), chú dượng của Hán Vũ Đế. Sau đó, Vệ Ẩu sinh được 6 người con, 3 trai 3 gái đều lấy họ mẹ. Trong đó, 4 con trai là Vệ Trường Quân (衛長君), Vệ Thanh, Vệ Bộ (衛步), Vệ Quảng (衛廣); ba con gái là Vệ Quân Nhụ (衛君孺), Vệ Thiếu Nhi (衛少兒) và Vệ Tử Phu. Trong gia đình, Vệ Tử Phu là em gái của Vệ Trường Quân, Vệ Quân Nhụ, Vệ Thiếu Nhi, và là chị của Vệ Thanh, Vệ Bộ cùng Vệ Quảng[6][9][10]. Về sau, Tào Thọ thành thân với Dương Tín công chúa, chị của Vũ Đế. Vệ Tử Phu từ nhỏ được học ca múa tại phủ Bình Dương, gọi là [Âu giả; 謳者][11].

Tương truyền, Vệ Tử Phu có mái tóc đen, dài và đẹp. Bất luận thơ phú từ xưa, hay văn học hiện đại, Vệ Tử Phu đều được mô tả vẻ đẹp gắn liền với mái tóc, điều này sớm nhất thấy trong Tây kinh phú (西京赋) của văn học gia, thiên văn học gia Trương Hành, trong đó có nói:"Vệ hậu hưng vu tấn phát, Phi Yến sủng vu thể khinh"[12]. Mặt khác, ở tiểu thuyết Hán Võ cố sự, có một đoạn về Vệ Tử Phu như sau:"Thượng kiến kỳ mỹ phát, duyệt chi, hoan nhạc" (Nguyên văn: 上見其美鬓，悅之，歡樂)[13]. Sang thời nhà Tống, sách Thái bình ngự lãm (太平御览) có viết về sự tích:"Vệ hoàng hậu tự Tử Phu... Thượng kiến kỳ phát tấn, duyệt chi, nhân lập vi Hậu"[14].